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SUNET 


SNIC-SNACK 


Sverige har ett antal datamaskintekniska stoltheter, bland dem superdatorerna som ingår i det svenska samarbetet SNIC. 
Datorerna står i sina datorhallar och användarna befinner sig på högskolor och universitet runt om i världen. 
Superdatorer kan producera oerhörda mängder utdata, så mycket att det inte skulle gå att transportera över ett 
datornätverk, inte ens över SunetC. Så, hur går det till när en superdator producerar data och hur överlämnas det till 
användaren? 


Den svenska nationella infrastrukturen för databehandling (SNIC) är ett forskningssamarbete med avsikt att ge forskare från 
hela landet och inom alla ämnesoråden balanserade och kostnadseffektiva beräkningsresurser, datalagring och 
användarstöd. SNIC är en del av Uppsala Universitet, lyder under Vetenskapsrådet och ska se till att det finns superdatorkraft 
till svensk akademisk forskning, både genom att hjälpa till ekonomiskt men också genom att skapa effektivt samarbete. 
Resurserna tillhandahålls efter en öppen ansökningsprocess, för att stödja den bästa svenska forskningen. 
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SNIC är sammansatt av sex samarbetsparter: Chalmers (med datorcentralen C3SE), Kungliga Tekniska Högskolan (PDC), 
Linköpings Universitet (NSC), Lunds Universitet (Lunarc), Umeå Universitet (HPC2N) och Uppsala Universitet (UPPMAX). En av 


SNICs uppgifter är att se till att det alltid finns olika typer av datakraft tillgänglig och att de stora ägarna, som Stockholm och 
Linköping, inte byter maskinpark samtidigt, utan att det sker överlappande. 


Superdatorerna är inte anslutna direkt till SunetC utan går genom lärosätenas intranät. Det kan de göra i och med att de 
enorma datamängderna som superdatorerna producerar, regelmässigt krymps genom efterbehandling i en lokal 
efterbehandlingsmaskin. Annars skulle dessa inte gå att transportera. 


Användarna kan finnas var som helst i hela världen, inte alls bara i Norden. Detsamma gäller datakällorna. CERN är 
visserligen ansluten till Norden men besprutar i stort sett hela världen med sitt partikeldata. När ESS i Lund blir klar kan man 
räkna med att dess mätdata kommer att spridas över hela världen på samma sätt. 


I Norge går det annorlunda till. Där är superdatorverksamheten organiserad som ett bolag kallat Uninett Sigma2, med tre 
centra. I Finland finns bara ett centrum, CSC i Helsingfors, som begär pengar direkt från staten utan någon mellanliggande 
samarbetsorganisation. Maskinen i Finland heter givetvis Sisu. 


EUROPEISKT SAMARBETE 


För att en superdator ska kunna användas till något praktiskt behövs nätverkskopplingar, dels inom det egna lärosätet, dels ut 
i världen. Dessutom behövs forskarsamarbeten med resten av världen. 
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Nu börjar organisationer och förkortningar hagla: Swegrid, National Grid Initiative (NGI). European Grid Infrastructure (EGI), 
Worldwide LHC Computing Grid (WLCG), LHCOPN (CERN), NelC (Nordic e-Infrastructure Collaboration), EU-projektet PRACE 
(Partnership for Advanced Computing in Europe), med flera. 


Det finns fyra olika klasser av aktörer i superdatorvärlden och många av dem har flera roller. 


Centralt för superdatorintresserade är maskinägare. De enskilda lärosätena är de verkliga maskinägarna medan SNIC ordnar 
finansieringen av maskinvaran som andra får exekvera på. 


För att nå maskinvaran behöver användarna olika transportstrukturer, som SunetC, som i sin tur arbetar mot NORDUnet, som 
i sin tur har anslutningar till transportnätet GÉANT och andra nationella forskningsnät (NREN) i Europa. 


Eftersom en superdator är så dyr, kan den inte stå sysslolös. Därför finns det en mängd organisationer som agerar 
resursfördelare (brokers) av datakraft, som meddelar när det finns ledig körtid på någon maskin som är med i just det 
speciella samarbetet, ett sk grid-samarbete. Olika superdatorer har ofta delar av maskinen eller delar av körtiden reserverad 
för olika fördelare. SNIC driver Swegrid som är en sådan fördelarorganisation som arbetar med att köa och fördela körtid 
inom delar av SNIC, medan exempelvis PRACE fördelar körtid mellan europeiska maskiner. Fördelningen kan gå till på olika 
sätt. I ett gridsamarbete sker fördelning av data och program automatiskt, medan man i ett samarbete som PRACE ansöker 
om tid och själv får se till att överföra data till anvisad superdator. SNIC motsvaras i Tyskland av Gauss, som också är medlem i 
PRACE och fördelar datorkraft från de tre tyska centren i Jülich, Stuttgart och Leibniz, alla tre med maskiner väl över en 
petaflop. Det finns ännu fler, som NelC (Nordic e-Infrastructure Collaboration) som fördelar resurser och driver samarbeten på 
nordisk nivå. 


Slutligen finns det rena datakällor som inte tar emot indata, utan bara åstadkommer mängder med utdata som måste 
behandlas i superdatorer. CERN i Schweiz är en sådan, som skapar många gigabyte per sekund som måste hanteras av 
datorer över hela världen och därför har sin egen resursfördelare, kallad WLCG (Worldwide LHC Computing Grid). Se vidare 
avsnittet En stor dataspruta, nedan. Den svenska neutronkanonen ESS kommer också att bli en sådan och 
acceleratorringarna MaxLab och Max IV är det redan. 


Fördelarorganisationerna kan ha ytterligare uppgifter, såväl ekonomiska som administrativa, exempelvis att skaffa EU-pengar 
för utbyggnad av det europeiska superdatorsamarbetet, forskning kring nya maskintyper, upphandlingar osv. En annan viktig 
gren av samarbetet är erfarenhetsutbytet kring maskinvara, parallellprogrammering och effektiv utbyggnad av datorhallar. Det 
finns betydligt flera sådana organisationer än vad diagrammet visar och det kan därför bara bli översiktligt. 


ANVÄNDARE NÄR OCH FJÄRRAN 


Långt ifrån alla användare på en viss superdator befinner sig på universitetet där maskinen står, och kan använda den över 
intranätet. Det är här SunetC kommer in. 
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Diagrammet visar utnyttjandet av maskinen Beskow på PDC på KTH. 41 procent av maskinkraften (core hours) används på 
KTH och resterande av externa användare. Som du ser flyter dataströmmarna ut från KTH till Stockholms Universitet, 
Linköpings Universitet och Uppsala Universitet. Den privata industrin (Industrial user), som delvis är med och finansierar 
maskinerna, får förbruka sin del av körtiden. Scania i Södertälje är exempel på en sådan användare. Du ser också att 
fördelarorganisationen PRACE har fått 5,1 96 av körtiden. 


MASKINERNA OCH TRAFIKEN 


De sex svenska datorcentralerna inrymmer vardera ett antal superdatorer, eller High Perfomance Clusters (HPC). En modern 
superdator byggs inte upp som en enda jätte-processor utan är sammansatt av en stor mängd (kluster av) standardservrar 
(beräkningsnoder), som skalats av in på bara kretskortet på allt som inte behövs för att de ska kunna räkna, räkna, räkna! 


Hårddiskar finns oftast inte, ej heller nätaggregat, lokal redundans och en massa annat tingeltangel som återfinns i en 
bordsdator. Redundanta diskar och strömförsörjning finns istället centralt. Däremot har servrarna många kärnor och massor 
med primärminne. Superdatorn sätts samman av så många noder man har råd med och när kapaciteten behöver utökas, 
skaffar man ännu flera noder. Noderna kopplas samman med ett internt datornät som är betydligt snabbare och med kortare 
fördröjning än Ethernet. Det som gör beräkningarna snabba är dock inte mängden servrar som klarar massor av teraflops i sig 
själva, utan programvarans förmåga att arbeta parallellt. Det är där de stora forskningsinsatserna måste sättas in. 


Maskinvaran finns definitivt och är till på köpet väldigt imponerande. Nog finns det beräkningsresurser i Sverige, minsann! 
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Aurora i Lunds universitets datorcentral Lunarc (Lund University NIC Application Research Center, där NIC i sin tur står för 
Numeric Intensive Computation) har 180 beräkningsnoder, med totalt 3600 kärnor och sammanlagt 11,5 TB primärminne, 
sammankopplade med Infiniband-nät. 
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Trafiken från och till Lunds universitet och därmed Aurora den senaste månaden ligger kring 1,4 Gbps och toppar strax under 
6 Gbps. Observera att man inte kan skilja datatrafiken från superdatorerna från all annan trafik från och till universitetet. 
Diagrammet är bara en översikt. Det är gott om rum i fibern på 100 Gbps. 
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Hebbe finns i Chalmers datorcentral C3SE (Chalmers Centre for Computational Science and Engineering). Hebbe har 315 
beräkningsnoder av HPs fabrikat, med totalt 6300 kärnor och sammanlagt 26 TB primärminne. Noderna sammanbinds med 
56 Gbps Infiniband-nät. 


Namnet Hebbe syftar på den göteborgske skrotsamlaren Hebbe i TV-serien Albert och Herbert som var väldigt populär 
mellan 1974 och 1981. 
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Trafiken från och till Chalmers och därmed C3SE de senaste 31 dagarna är i medeltal strax under 1 Gbps men hade en märklig 
topp på 8 Gbps vecka 17. 


Triolith på Linköpings universitet 


NSC (National Supercomputer Centre) i Linköping har landets största samling superdatorer, med namn som Triolith, Elvis, Bi, 
Frost, Alvin och Gamma. Flaggskeppet är Triolith med sina 16.368 kärnor i HP-servrar med totalt 35 TB primärminne, 
hopkopplade med Infiniband. 


Fattar du? Bi+Frost, haha, bron till himmelriket! Namnkombinationen Bi+frost är särskilt rolig eftersom maskinerna 
huvudsakligen används av SMHI i Sverige och MET i Norge för meteorologiska beräkningar. Bifrost är också namnet på en 
Linux-distribution för routrar och brandväggar. 
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Linköpings universitet uppvisar mera trafik än de två tidigare. Medeltrafiken ligger kring 2,4 Gbps med toppar på 6,6 Gbps. 
Det är kanske naturligt att universitetet med landets största superdatorcentrum har den högsta medeltrafiken i SNIC? 


Beskow på KTH 


Maskinen Beskow på Parallelldatorcentrum på KTH i Stockholm är tillverkad av Cray. Den har 1676 noder med 53.632 kärnor, 
med totalt 104,7 TB primärminne som sammanbinds med Crays nätverk av typen Cray Aries. 


PDC döper sina maskiner efter svenska författare och konstnärer, som Beskow ( 
Ferlin, Povel, Bellman osv. 
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Tekniska högskolan presterar en medeltrafik på 1,3 Gbps, med toppar upp till 4 Gbps. 


Rackham på Uppsala universitet 


Maskinen Rackham vid UPPMAX (Uppsala Multidisciplinary Center for Advanced Computational Science) har 304 noder med 
totalt 6080 kärnor med 34,7 TB primärminne och noderna kopplas som brukligt samman med Infiniband. 


Maskinerna i Uppsala har fått sina namn ur den tecknade serien Tintin, med namn som Rackam (den Röde, piratkapten), Milou 
(Tintins hund), Bianca (Castafiore, irriterande operasångerska) och Irma (Castafiores betjänt). 
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Uppsala universitet och UPPMAX har en medeltrafik på 0,7 Gbps och toppar uppåt 2,4 Gbps. 


Kebnekaise vid Umeå universitet 


Maskinen Kebnekaise vid HPC2N (High Performance Computing Center North) har 544 noder från Lenovo, med totalt 17.552 
kärnor och 125 TB primärminne och kopplas givetvis ihop med Infiniband-nät. 


Maskinerna i Umeå har namn efter norrländska naturformationer som Kebnekaise (fjäll) och Abisko (nationalpark). 
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Trafiken till och från Umeå universitet ligger i medeltal på 0,5 Gbps och toppar på omkring 2 Gbps, med en enskild topp på 
3,7 Gbps. 


Totalt i landet 


Det sista diagrammet visar en summering av all Sunets trafik på alla portar på alla routrar ute i landet. 


SUNET traffic with Customers & 
40 G ae saet araga ae aaa saa | hees en ae a a a , asasan asen anea asaan aaa aa a S aa a wa a a a a a 000000 e e m B 
30G i ; ; A 
10G El: | ; : IST 
I | | 
0 


Week 15 Week 16 Week 17 Week 18 Week 19 


H Avg In Avg: 7.39G Max: ie eia E 8. 10G 

H Avg Out Avg: 15.69G Max: 36.696 Last: 21.50G 

Each data point is averaged over 2 hours 

Direction is as seen from SUNET 

Updated 10:00 Fri 12 May 2017 


Diagrammet säger egentligen inget alls om något, utom att det ännu är långt kvar tills något universitet lyckts fylla en 
våglängd på SunetC till 100 Gbps. Vidare säger det att Sunet än så länge är väl tilltaget för att klara topptrafiken. När det 
börjar bli trångt finns det utmärkta utbyggnadsmöjligheter. 


OM SUPERDATORBERÄKNINGAR 


När man löser ett problem i en superdator, blir resultatet ofta ett sk data set, en väldig datamängd, som forskaren ska 
utvärdera för att få fram ett resultat som är begripligt för människan. Det handlar som vi sagt tidigare om enorma 


datamängder, oftast allt för stora för att föra över på ett datornät i rimlig tid. Eftersom det blir så enorma datamängder försöker 
man göra visualiseringen eller vad det kan vara, inom datacentrets väggar, för att slippa transportera terabyte på SunetC. 
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Internt hos Parallelldatorcentrum på KTH 


Från bara en liten fil med en algoritm på några kilobyte som indata kan en superdator mata ut data set på 10—100 terabyte. 
Data setet efterbehandlas i en lokal dator med något mindre kraft och blir till bilder eller data som kan förstås av en människa. 
Datareduktionen kan bli omkring 1000 gånger eller mer, och resulterar i högupplösta bilder eller en film. Det är särskilt 
användbart när man studerar flöden och virvlar, oavsett om det rör sig om friktion kring vingprofiler eller flöden av elektroner i 
solsystemet. 


En annan typ av indata som är betydligt omfångsrikare är exempelvis CAD-modeller av vingprofiler, som måste snittas upp 
eller delas in ”griddar”, som superdatorns noder kan arbeta med. 


Ett typiskt superdatorproblem kan köras på 16.000 kärnor i satser om 6 timmar. Ungefär en gång i timmen tar man ut en 
datadump på cirka 100 gigabyte som går vidare till efterbehandling och visualisering. När den tilldelade körtiden om 6 timmar 
är slut tar man en totaldump på ett par terabyte, kallad ”restart file”, som används senare när körningen ska återstartas och 
beräkningarna fortsätta. Slutresultatet av körningen är serier av bilder på cirka 100 megabyte stycket från 
visualiseringsdatorn. 


SOLVINDEN BLÅSER PÅ JORDEN 


Fysikern Stefano Markidis vid KTH är en av dem som använder superdatorer i sin forskning. Till exempel då man tar miljarder 
elektroner (alltså: ett plasma) och skickar dem i en våg från Solen mot Jorden, och beräknar hur var och en samverkar med 
övriga partiklar, stör Jordens magnetfält och antingen störtar ned mot planetytan eller virvlar bort i magnetfältets svans 
(magnetotail) bortom planeten. 
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Låt oss titta på ett projekt med namnet iPIC3D i teoretisk rymdfysik som kräver superdatorkraft. Markidis har beräknat hur 


solvinden samverkar med Jordens magnetosfär, i avsikt att utvärdera en metod för att algoritmiskt bestämma sådan 


samverkan. Solvinden, i form av miljoner ampere kommer från höger och träffar det jordmagnetiska fältet och komprimerar 


och distorderar det på Jordens dagsida (höger) och drar ut det 


g ström och rött är hög, och man ser hur elektronerna trängs 
undan elektronerna, bildar magnetosfären och hindrar därmed 
marsianerna. 


Beskow. Totalt användes 2048 kärnor och på 24 timmar ackum 
som ganska liten. Samma problem provades på superdatorn M 
10 petaflops på sina 786.432 kärnor och 768 terabyte primärmi 


Indata till Beskow var i storleksordningen ett par kilobyte i form 
problemet skulle spridas ut över de tillgängliga kärnorna. Körni 


Körningen utfördes som en simulerad kub med totalt 3x10^9 partiklar och tog 24 timmar att utföra på KTHs superdato 


på nattsidan. De grå slangarna är de magnetiska fältlinjerna 


mellan Jordens nord- och sydpol och färgerna anger elektrontätheten, eller den elektriska strömmen om man så vill. Blått är 


ihop framför Jorden. Men det jordmagnetiska fältet tränger 
solvinden att riva med sig vår atmosfär. Sådan tur har inte 


ulerades 50.000 core-hours. Denna körning är att betrakta 
ira vid Argonne National Laboratory i USA. Mira är kapabel till 
nne. 


av en beskrivning av geometrin i simulationen och hur 
ngen på KTH försiggick i fyra satser om sex timmar och varje 


sats resulterade i 40 TB data som måste sparas och återanvändas i nästa sats. Data i primärminnet under körningen låg kring 
50-100 TB. Allt data som skapades under processen, alltså 50-100 TB måste arkiveras, såväl som slutresultatet i form av 


bilder och filmsekvenser, som uppgick till 100-tals megabyte. 


EN STOR D 


ATASPRUTA 


Som vi tidigare nämnt kan indata också komma från en dataleverantör. En mycket stor dataproducent är CERN och dess 


partikeldetektorer Atlas och CMS på acceleratorringen Large H 


adron Collider i Meyrin i Schweiz. 
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Här ser du dataflödet ut ur detektorerna när artikeln skrevs. Den infällda skylten visar att flödet ur Atlas-detektorn en dag var 
dryga 13 gigabyte per sekund och totalflödet från hela LHC-ringen var dryga 24 GBps. Gigabyte, inte gigabit. Så där håller det 
på, dygnet runt, året runt. Och det är efter bortfiltrering av ointressant känd fysik och efter datareduktion. Allt detta ska 
kontinuerligt transporteras ut i Europa och en del av det slutar i SunetC och på svenska lärosäten. Förhoppningsvis ska det 
resultera i mera information om mörk materia och higgspartiklar. 


CERN är en del av ett globalt beräkningsprojekt kallat Worldwide LHC Computing Grid (WLCG) som fördelar körtid mellan fler 
än 170 beräkningscentraler i 42 länder som binds samman av ett antal internationella nätverk. Avsikten med WLCG är att 
kunna lagra, distribuera och analysera de omkring 50 petabyte data som förväntas komma ut ur LHC under 2017. CERN 
släppte nyligen ett enormt data set på 300 terabyte som innehåller data om partikelkollisioner och analyser av dessa, med 
ursprung i CMS-detektorn (gul stapel i bilden ovan). Med den nya linjäracceleratorn Linac 4 som blir klar år 2025 kommer 
dataflödet från LHC att öka tio gånger. Som CERN själva säger ”The world is our calculator”. Men SUNET kommer inte att ha 
några som helst problem att transportera de ökande datamängderna. 


HIGGSPARTIKELN 


Flera års körning på ett antal datorer över hela världen och petabyte med rådata som färdats från CERNs datorhall i Meyrin 
unt hela Jorden från Tokyo till New York, och så händer det! 


Selected diphoton sample 
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Minsann! Higgspartiklar på 125 GeV, precis som Peter Higgs hade förutsagt. En topp av signaler höjer sig ur bruset och 
förändras från tanke till statistiskt signifikant med en säkerhet på 6 sigma eller en miljard gånger högre sannolikhet än 
slumpen. Higgspartikeln lever bara i 0,0000000000000000000001 sekunder, men det räcker för att man ska kunna hitta 
den. Ett hål till i standardmodellen är fyllt och vi vet numera varför vi väger något och varför Universum faktiskt kunde skapas, 
få massa och inte bara flyga isär i ljusets hastighet. Nu är siktet inställt på den mörka materien. 


AVSLUTNING 


Forskare, ingenjörer, humanister och socialvetare i hela Sverige — många av dem vid universitet, högskolor och 
forskningsinstitut — använder avancerade digitala resurser och tjänster i sitt arbete varje dag. Saker som superdatorer, 
datasamlingar och nya programverktyg är avgörande för forskarnas framgång, som använder dem för att göra våra liv 
hälsosammare, säkrare och bättre. Därför finns SNIC — Swedish National Infrastructure for Computing. 


LÄS MER 


Om SNIC: http://www.snic.vr.se/ 


Datorcentralen vid Lunds universitet: Lunarc: http://www.lunarc.lu.se 


Datorcentralen vid Chalmers: C3SE: http://www.c3se.chalmers.s 
Datorcentralen vid Linköpings universitet: NSC: h 
Datorcentralen vid KTH: PDC: http://www.pdc.kth.se 


Datorcentralen vid Uppsala universitet: UPPMÄX: http://www.uppmax.uu.se 


Datorcentralen vid Umeå universitet: HPC2N: http://www.hpc2n.umu.se 


Så designa 


Så designa 


Så gör CERN i Meyrin: https://www.sunet.se/blogg/cern-krossen-som-slar-sonder-materiens-minsta-byggstenar/ 


SUNET och GÉANT: https://www.sunet.se/blogg/geant-och-nordunet-basta-kompisar/ 


Skriven av 


JÖRGEN STÄDJE 


Jag heter Jörgen Städje och har skrivit om teknik 
och vetenskap sedan 1984. Friskt kopplat, hälften 
brunnet! 


